Scikit-learn Veri Ön İşleme: Makine Öğrenimi İçin Veri Dönüştürme İşlem Hatlarında Uzmanlaşmak

Makine öğrenimi alanında, verilerinizin kalitesi modellerinizin performansını doğrudan etkiler. Ham veri genellikle tutarsızlıklar, eksik değerler ve değişen ölçekler içerir ve bu da doğrudan kullanım için uygunsuz hale getirir. Güçlü bir Python kütüphanesi olan Scikit-learn, verilerinizi makine öğrenimi algoritmaları için uygun bir biçime dönüştürmek üzere kapsamlı bir ön işleme teknikleri paketi sunar. Bu makale, makine öğrenimi iş akışlarınızı kolaylaştırmak için veri dönüştürme işlem hatlarının oluşturulmasına ve kullanılmasına odaklanarak Scikit-learn ön işlemenin dünyasına dalmaktadır.

Veri Ön İşleme Neden Çok Önemli?

Veri ön işleme, ham verileri makine öğrenimi modelleri için daha uygun hale getirmek üzere temizleme, dönüştürme ve düzenleme işlemidir. Makine öğrenimi algoritmaları, girdi özelliklerinin ölçeğine ve dağılımına duyarlı olduğundan, hayati bir adımdır. Uygun ön işleme olmadan, modeller yetersiz performans gösterebilir, bu da yanlış tahminlere ve güvenilmez sonuçlara yol açar. Veri ön işlemenin neden gerekli olduğuna dair bazı önemli nedenler şunlardır:

• Geliştirilmiş Model Performansı: Ön işlenmiş veriler, modellerin daha etkili öğrenmesini ve daha yüksek doğruluk elde etmesini sağlar.
• Eksik Değerleri İşler: Tamamlama teknikleri, eksik veri noktalarını doldurarak algoritmaların çökmesini veya yanlı sonuçlar üretmesini önler.
• Özellik Ölçeklerini Standartlaştırır: Ölçekleme yöntemleri, tüm özelliklerin modele eşit şekilde katkıda bulunmasını sağlayarak, daha büyük değerlere sahip özelliklerin öğrenme sürecine hakim olmasını önler.
• Kategorik Değişkenleri Kodlar: Kodlama teknikleri, kategorik verileri makine öğrenimi algoritmalarının anlayabileceği sayısal gösterimlere dönüştürür.
• Gürültüyü ve Aykırı Değerleri Azaltır: Ön işleme, aykırı değerlerin ve gürültülü verilerin etkisini azaltmaya yardımcı olarak daha sağlam modellere yol açabilir.

Scikit-learn İşlem Hatlarına Giriş

Scikit-learn İşlem Hatları, birden çok veri dönüştürme adımını tek, yeniden kullanılabilir bir nesneye zincirlemenin bir yolunu sunar. Bu, kodunuzu basitleştirir, okunabilirliği artırır ve model değerlendirmesi sırasında veri sızıntısını önler. Bir işlem hattı, esasen bir dizi veri dönüştürmesini ve ardından son bir tahmin ediciyi (örneğin, bir sınıflandırıcı veya regresör) içerir. İşte işlem hatlarının neden bu kadar faydalı olduğu:

• Kod Organizasyonu: İşlem hatları, tüm veri ön işleme ve modelleme iş akışını tek bir birimde kapsayarak kodunuzu daha düzenli ve bakımı daha kolay hale getirir.
• Veri Sızıntısını Önleme: İşlem hatları, veri dönüştürmelerinin hem eğitim hem de test verilerine tutarlı bir şekilde uygulanmasını sağlayarak aşırı öğrenmeye ve zayıf genellemeye yol açabilecek veri sızıntısını önler.
• Basitleştirilmiş Model Değerlendirmesi: İşlem hatları, çapraz doğrulama gibi teknikleri kullanarak modelinizin performansını değerlendirmeyi kolaylaştırır, çünkü tüm ön işleme ve modelleme iş akışı her katmana tutarlı bir şekilde uygulanır.
• Kolaylaştırılmış Dağıtım: İşlem hatları, üretim ortamlarına kolayca dağıtılarak verilerin eğitim sırasında olduğu gibi önceden işlenmesi sağlanır.

Scikit-learn'de Yaygın Veri Ön İşleme Teknikleri

Scikit-learn çok çeşitli ön işleme teknikleri sunar. İşte en yaygın kullanılanlardan bazıları:

1. Ölçekleme ve Normalleştirme

Ölçekleme ve normalleştirme, sayısal özellikleri benzer bir değer aralığına dönüştürmek için kullanılan tekniklerdir. Bu önemlidir çünkü farklı ölçeklere sahip özellikler öğrenme sürecini orantısız bir şekilde etkileyebilir. Scikit-learn çeşitli ölçekleme ve normalleştirme yöntemleri sunar:

• StandardScaler: Ortalamayı kaldırarak ve birim varyansına ölçekleyerek özellikleri standartlaştırır. Bu, verilerin normal bir dağılım izlediğini varsayan yaygın olarak kullanılan bir tekniktir.

  Formül: x_scaled = (x - ortalama) / standart_sapma

  Örnek: USD cinsinden ev fiyatlarınız ve metrekareleriniz olduğunu varsayalım. Bu özellikleri ölçeklendirmek, modelin daha büyük değerlere sahip özelliğe (örneğin, ev fiyatları) gereksiz önem vermemesini sağlar.

• MinMaxScaler: Özellikleri genellikle 0 ile 1 arasında belirtilen bir aralığa ölçeklendirir. Verilerin orijinal dağılımını korumak istediğinizde kullanışlıdır.

  Formül: x_scaled = (x - min) / (max - min)

  Örnek: Görüntü işleme genellikle piksel değerlerini [0, 1] aralığına normalleştirmek için MinMaxScaler kullanır.

• RobustScaler: Medyan ve çeyrekler arası aralık (IQR) gibi aykırı değerlere karşı sağlam olan istatistikleri kullanarak özellikleri ölçeklendirir. Verileriniz aykırı değerler içerdiğinde bu iyi bir seçimdir.

  Formül: x_scaled = (x - medyan) / IQR

  Örnek: Aykırı değerlerin yaygın olduğu finansal veri kümelerinde (örneğin, aşırı borsa dalgalanmaları), RobustScaler daha kararlı sonuçlar sağlayabilir.

• Normalizer: Örnekleri ayrı ayrı birim norma normalleştirir. Özellik vektörünün büyüklüğü, tek tek özellik değerlerinden daha önemli olduğunda kullanışlıdır.

  Formül (L2 normu): x_scaled = x / ||x||

  Örnek: Metin işlemede, terim sıklığı-ters belge sıklığı (TF-IDF) vektörlerini normalleştirmek yaygın bir uygulamadır.

2. Kategorik Değişkenleri Kodlama

Makine öğrenimi algoritmaları tipik olarak sayısal girdi gerektirir, bu nedenle kategorik değişkenlerin sayısal gösterimlere dönüştürülmesi gerekir. Scikit-learn çeşitli kodlama teknikleri sunar:

• OneHotEncoder: Özellikteki her kategori için ikili sütunlar oluşturur. Bu, nominal kategorik özellikler (doğasında bir sırası olmayan özellikler) için uygundur.

  Örnek: "Ülke" özelliğini "ABD", "Kanada" ve "İngiltere" gibi değerlerle kodlamak, üç yeni sütun oluşturur: "ülke_ABD", "ülke_Kanada" ve "ülke_İngiltere".

• OrdinalEncoder: Her kategoriye sırasına göre bir tamsayı değeri atar. Bu, sıralı kategorik özellikler (anlamlı bir sırası olan özellikler) için uygundur.

  Örnek: "Eğitim düzeyi" özelliğini "Lise", "Lisans" ve "Yüksek Lisans" gibi değerlerle kodlamak, sırasıyla 0, 1 ve 2 gibi tamsayı değerleri atar.

• LabelEncoder: Hedef etiketleri 0 ile n_classes-1 arasındaki değerlerle kodlar. Sınıflandırma problemlerinde hedef değişkeni kodlamak için bunu kullanın.

  Örnek: "spam" ve "spam değil" etiketlerini sırasıyla 0 ve 1 olarak kodlama.

• TargetEncoder (category_encoders kütüphanesi gerektirir): Kategorik özellikleri, her kategori için hedef değişkenin ortalamasına göre kodlar. Çapraz doğrulama kurulumunda dikkatli kullanılmazsa hedef sızıntısına yol açabilir.

3. Eksik Değerleri İşleme

Eksik değerler, gerçek dünya veri kümelerinde yaygın bir sorundur. Scikit-learn, eksik değerleri tamamlamak (doldurmak) için teknikler sağlar:

• SimpleImputer: Bir özellik için sabit bir değer, ortalama, medyan veya en sık değeri kullanarak eksik değerleri tamamlar.
• KNNImputer: Eksik değerleri k-en yakın komşular algoritmasını kullanarak tamamlar. Eksik değerlere sahip örneğe en yakın k örneği bulur ve eksik değeri tamamlamak için bu komşuların ortalama değerini kullanır.
• IterativeImputer: Eksik değerleri yinelemeli bir modelleme yaklaşımı kullanarak tamamlar. Eksik değerlere sahip her özellik, diğer özelliklerin bir fonksiyonu olarak modellenir ve eksik değerler yinelemeli olarak tahmin edilir.

4. Özellik Dönüşümü

Özellik dönüşümü, mevcut özelliklerden yeni özellikler oluşturmayı içerir. Bu, doğrusal olmayan ilişkileri veya özellikler arasındaki etkileşimleri yakalayarak model performansını iyileştirebilir. Bazı teknikler şunlardır:

• PolynomialFeatures: Özelliklerin polinom kombinasyonlarını oluşturur. Örneğin, iki özelliğiniz varsa x1 ve x2, PolynomialFeatures x1^2, x2^2, x1*x2 gibi yeni özellikler oluşturabilir.
• FunctionTransformer: Özelliklere özel bir fonksiyon uygular. Bu, log dönüşümleri veya üstel dönüşümler gibi rastgele dönüşümler gerçekleştirmenize olanak tanır.
• PowerTransformer: Verileri daha Gaussian benzeri hale getirmek için bir güç dönüşümü uygular. Bu, doğrusal regresyon gibi normalliği varsayan algoritmalar için yararlı olabilir. (Box-Cox ve Yeo-Johnson dönüşümlerini içerir)

Scikit-learn ile Veri Dönüştürme İşlem Hatları Oluşturma

Şimdi, bu ön işleme tekniklerini veri dönüştürme işlem hatları oluşturarak uygulamaya koyalım. İşte adım adım bir kılavuz:

1. Gerekli Kütüphaneleri İçe Aktar

Scikit-learn'den gerekli kütüphaneleri içe aktararak başlayın:

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. Verilerinizi Yükleyin ve Hazırlayın

Veri kümenizi pandas veya başka herhangi bir uygun yöntem kullanarak yükleyin. Veri kümenizdeki sayısal ve kategorik özellikleri belirleyin. Örneğin:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. Ön İşleme Adımlarını Tanımlayın

Kullanmak istediğiniz ön işleme dönüştürücülerinin örneklerini oluşturun. Örneğin, sayısal özellikleri işlemek için StandardScaler ve SimpleImputer kullanabilirsiniz. Kategorik özellikler için OneHotEncoder kullanabilirsiniz. Ölçeklendirme veya kodlamadan önce eksik değerleri işleme stratejileri eklemeyi düşünün.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. Bir ColumnTransformer Oluşturun

Verilerinizin farklı sütunlarına farklı dönüştürücüler uygulamak için ColumnTransformer kullanın. Bu, sayısal ve kategorik özellikleri ayrı ayrı ön işlemenizi sağlar.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. İşlem Hattını Oluşturun

Ön işleme adımlarını bir makine öğrenimi modeliyle zincirleyen bir Pipeline nesnesi oluşturun. Bu, verilerin modele beslenmeden önce tutarlı bir şekilde ön işlenmesini sağlar.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. Modeli Eğitin ve Değerlendirin

Verilerinizi eğitim ve test kümelerine bölün. Ardından, işlem hattını eğitim verileri üzerinde eğitin ve performansını test verileri üzerinde değerlendirin.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Eksiksiz Örnek Kod

İşte bir veri dönüştürme işlem hattı oluşturmak ve eğitmek için eksiksiz kod:

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # Örnek Veri data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # Özellikleri tanımlayın numerical_features = ['age', 'salary'] categorical_features = ['country'] # Dönüştürücüler oluşturun numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # Ön işlemci oluşturun preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # İşlem hattı oluşturun pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # Verileri bölün X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Modeli eğitin pipeline.fit(X_train, y_train) # Modeli değerlendirin score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Gelişmiş İşlem Hattı Teknikleri

Temel bilgilerle rahat olduktan sonra, daha gelişmiş işlem hattı tekniklerini keşfedebilirsiniz:

1. Özel Dönüştürücüler

Scikit-learn'de bulunmayan belirli veri dönüştürmeleri gerçekleştirmek için kendi özel dönüştürücülerinizi oluşturabilirsiniz. Özel bir dönüştürücü oluşturmak için TransformerMixin ve BaseEstimator sınıflarından miras almanız ve fit ve transform yöntemlerini uygulamanız gerekir. Bu, özellik mühendisliği veya alana özgü dönüşümler için yararlı olabilir. Okunabilirlik için uygun doküman dizelerini eklemeyi unutmayın.

2. Özellik Birleşimi

FeatureUnion, birden çok dönüştürücünün çıktısını tek bir özellik vektöründe birleştirmenizi sağlar. Bu, aynı özelliklere farklı dönüşümler uygulamak veya farklı şekillerde dönüştürülmüş özellikleri birleştirmek istediğinizde yararlı olabilir. FeatureUnion sınıfı, birden çok dönüştürücünün çıktısını tek bir özellik vektöründe birleştirmek için kullanılır.

3. İşlem Hatlarıyla Grid Arama

Ön işleme adımlarının hiperparametreleri de dahil olmak üzere, işlem hattınızın hiperparametrelerini optimize etmek için GridSearchCV kullanabilirsiniz. Bu, ön işleme tekniklerinin ve model parametrelerinin en iyi kombinasyonunu otomatik olarak bulmanızı sağlar. Artan hesaplama maliyetine dikkat edin.

Veri Ön İşleme İşlem Hatları için En İyi Uygulamalar

Veri ön işleme işlem hatları oluştururken aklınızda bulundurmanız gereken bazı en iyi uygulamalar şunlardır:

• Verilerinizi Anlayın: Herhangi bir ön işleme tekniği uygulamadan önce, verilerinizi anlamak için zaman ayırın. Özelliklerinizin dağılımlarını keşfedin, eksik değerleri belirleyin ve aykırı değerler arayın.
• İşlem Hattınızı Belgeleyin: İşlem hattının her adımını açıklamak için kodunuza yorumlar ekleyin. Bu, kodunuzu anlamayı ve bakımını yapmayı kolaylaştıracaktır.
• İşlem Hattınızı Test Edin: Düzgün çalıştığından emin olmak için işlem hattınızı iyice test edin. İşlem hattının her adımının beklenen çıktıyı ürettiğini doğrulamak için birim testleri kullanın.
• Veri Sızıntısından Kaçının: Verilerinizi ön işlerken veri sızıntısından kaçınmaya dikkat edin. Eğitim verilerini ön işlemek için yalnızca eğitim verilerinden elde edilen bilgileri kullandığınızdan emin olun. Eğitim ve test verileri arasında tutarlılık sağlamak için işlem hatları kullanın.
• Performansı İzleyin: Modelinizin performansını zaman içinde izleyin ve gerektiğinde yeniden eğitin. Veri dağılımları zaman içinde değişebilir, bu nedenle işlem hattınızı periyodik olarak yeniden değerlendirmek ve gerektiğinde ayarlamalar yapmak önemlidir.

Gerçek Dünya Örnekleri

Veri dönüştürme işlem hatlarının farklı sektörlerde nasıl kullanılabileceğine dair bazı gerçek dünya örneklerini keşfedelim:

• Finans: Kredi riski modellemesinde, işlem hatları gelir ve kredi puanı gibi sayısal özelliklerin yanı sıra istihdam durumu ve kredi amacı gibi kategorik özellikler de dahil olmak üzere müşteri verilerini ön işlemek için kullanılabilir. Eksik değerler, ortalama tamamlama veya k-en yakın komşular tamamlama gibi teknikler kullanılarak tamamlanabilir. Ölçekleme, farklı ölçeklere sahip özelliklerin modele hakim olmamasını sağlamak için çok önemlidir.
• Sağlık: Tıbbi teşhiste, işlem hatları yaş, kan basıncı ve kolesterol seviyeleri gibi sayısal özelliklerin yanı sıra cinsiyet ve tıbbi geçmiş gibi kategorik özellikler de dahil olmak üzere hasta verilerini ön işlemek için kullanılabilir. Kategorik özellikleri sayısal gösterimlere dönüştürmek için tek sıcak kodlama kullanılabilir.
• E-ticaret: Ürün öneri sistemlerinde, işlem hatları satın alma sıklığı ve ürün derecelendirmeleri gibi sayısal özelliklerin yanı sıra ürün kategorisi ve müşteri demografisi gibi kategorik özellikler de dahil olmak üzere müşteri ve ürün verilerini ön işlemek için kullanılabilir. İşlem hatları, ürün açıklamalarından ve müşteri incelemelerinden özellikleri çıkarmak için tokenizasyon ve kök çıkarma gibi metin ön işleme adımlarını içerebilir.
• Üretim: Tahmini bakımda, işlem hatları sıcaklık, basınç ve titreşim gibi sayısal özelliklerin yanı sıra makine tipi ve çalışma koşulları gibi kategorik özellikler de dahil olmak üzere makinelerden gelen sensör verilerini ön işlemek için kullanılabilir. Aykırı okuma potansiyeli nedeniyle RobustScaler burada özellikle yararlı olabilir.

Küresel Veri Kümelerindeki Zorlukların Ele Alınması

Küresel veri kümeleriyle çalışırken, ön işleme sırasında dikkatli bir şekilde değerlendirilmesini gerektiren belirli zorluklarla sıklıkla karşılaşırsınız. İşte bazı yaygın sorunlar ve bunları ele alma stratejileri:

• Değişen Veri Biçimleri: Tarihler, sayılar ve para birimleri bölgeler arasında farklı biçimlere sahip olabilir. Tutarlı ayrıştırma ve biçimlendirme sağlayın. Örneğin, tarihler GG/AA/YYYY veya AA/GG/YYYY biçiminde olabilir. Tarih dönüştürmelerini ve biçimlendirmeyi işlemek için uygun kitaplıklar kullanın.
• Dil Farklılıkları: Metin verileri farklı dillerde olabilir ve çeviri veya dile özgü ön işleme teknikleri gerektirebilir. Çeviri için Google Çeviri API'sini (uygun kullanım hususları ve maliyet etkileri ile birlikte) veya dile özgü metin işleme için NLTK'yı kullanmayı düşünün.
• Para Birimi Dönüşümü: Finansal veriler farklı para birimlerinde olabilir. Tüm değerleri güncel döviz kurlarını kullanarak ortak bir para birimine dönüştürün. Doğru ve gerçek zamanlı döviz kurları almak için güvenilir API'ler kullanın.
• Saat Dilimleri: Zaman serisi verileri farklı saat dilimlerinde kaydedilebilir. Tutarlılık sağlamak için tüm zaman damgalarını ortak bir saat dilimine (örneğin, UTC) dönüştürün. Saat dilimi dönüştürmelerini işlemek için pytz gibi kitaplıklar kullanın.
• Kültürel Farklılıklar: Kültürel nüanslar veri yorumunu etkileyebilir. Örneğin, müşteri memnuniyeti puanları kültürler arasında farklı şekilde yorumlanabilir. Bu nüansların farkında olun ve ön işleme adımlarınızı tasarlarken bunları göz önünde bulundurun.
• Veri Kalitesi Sorunları: Veri kalitesi farklı kaynaklar arasında önemli ölçüde değişebilir. Hataları tanımlamak ve düzeltmek için sağlam veri doğrulama ve temizleme prosedürleri uygulayın.

Sonuç

Veri ön işleme, makine öğrenimi işlem hattında kritik bir adımdır. Scikit-learn işlem hatlarını kullanarak iş akışınızı kolaylaştırabilir, veri sızıntısını önleyebilir ve modellerinizin performansını artırabilirsiniz. Bu tekniklerde uzmanlaşmak, çok çeşitli uygulamalar için daha sağlam ve güvenilir makine öğrenimi çözümleri oluşturmanızı sağlayacaktır. Ön işleme adımlarını verilerinizin ve makine öğrenimi modelinizin gereksinimlerinin özel özelliklerine uyarlamayı unutmayın. Belirli sorununuz için en uygun kombinasyonu bulmak için farklı tekniklerle denemeler yapın. Uygun veri ön işlemeye zaman ayırarak, makine öğrenimi algoritmalarınızın tüm potansiyelini ortaya çıkarabilir ve üstün sonuçlar elde edebilirsiniz.